From Interaction to Capability: Task Advancement as State and Supervision for GUI Agents
从交互到能力:以任务推进为状态与监督的 GUI 智能体记忆
🧭 Agent 任务状态与经验记忆 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Shandong University
将已验证任务进展作为在线状态与离线监督,从跨应用长程任务中学习可复用操作
📌 工作参考价值(4 点)
- 在电商导购/任务型 Agent 中,把用户已确认的约束(预算、尺码、偏好、收货地址)作为 verified task progress 绑定到剩余决策节点,后续只推进依赖已满足的目标,避免跨商品页/订单页重复询问。
- 从成功与失败的会话中抽取「局部有效操作」作为可复用算子:定义入口输入、期望结果、验证条件,例如「给定尺码+偏好筛选候选商品」或「根据地址+支付方式完成下单」,即使整单未成交也能沉淀有效环节供后续会话复用。
- 区分 draft/attempt/confirmed:在推荐流程中只把「加入购物车」「提交订单」等强确认信号作为状态更新依据,不把生成过程或中间点击误判为已完成结果,减少错误状态对后续决策的污染。
- 借鉴 Evidence Cache 和按依赖召回:为多轮推荐对话缓存商品详情图、用户历史 SKU 属性等结构化证据,按剩余需求的 input dependencies 按需读取,降低上下文 token 并提高信息可用性。